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1. Introduction: 

Les modeles de Markov caches (en anglais Hidden Markov Model ou HMM) ont ete introduits par 
BAUM et ses coUaborateurs dans les annees 1960-1970. Ce modele est fortement apparent aux 
automates probabilistes. Un automate probabiliste est defini par une structure composee d'etats et de 
transitions, et par un ensemble de distribution de probabilite sur la transition. 

A chaque transition est associe un symbole d'un alphabet fini, ce symbole est genere a chaque fois 
que la transition est empruntee. Un HMM se definit egalement par une structure composee d'etats et 
de transitions et par un ensemble de distribution de probabilite sur les transitions. La difference 
essentielle avec les PAS (processus aleatoire stochastique) est que la generation de symboles 
s'effectue sur les etats, et non sur les transitions. De plus, on associe a chaque etat non pas un 
symbole de I'alphabet, une illustration de la parente entre HMM et PAS peut-etre trouvee dans la 
propriete que n'importe quel HMM peut etre simule par un processus aleatoire du meme nombre 
d'etats. Notons que la propriete inverse n'est pas vraie. 

Les HMMs sont utilises pour modeliser des sequences d'observations. Ces observations peuvent 
etre de nature discrete (par exemple les caracteres d'un alphabet fini) ou continue (la frequence d'un 
signal, une temperature...). Le premier domaine auquel les HMMs ont ete applique est le traitement 
de parole au debut des annees 1970. [10] 

2. Chaine de Markov cachee et {'extension vers le HMM : 

Considerons un systeme qui peut se decrire comme, a n'importe quel temps, se trouve dans les N 
etats distincts Si, S?, Sn. 

Le systeme voit le changement des etats par t=l,2,..., et nous noterons I'etat actuel a I'instant t 
par q^. Pour le cas d'une chaine de Markov discrete et de premier ordre, la description probabiliste 
est entre I'etat courant et I'etat precedent : 

P [qt = Sj\qt_i = Si, qt_2 = Sk ] = P [qt = Sj\qt_i = Sj] (3.1) 

Dans le cas d'une probabilite stationnaire nous noterons : 

aij = P [qt = Sj\qt_i = S,], 1 < i, j < N (3.2) 

ajj >0 et T.f=i ajj =1. 



Ce processus stochastique est appele modele de Markov observable VMM puisque chaque etat est 
lie correspond a une observation dans chaque instant. [10] 

Le modele a une extension vers le cas ou I'observation est une fonction probabiliste de I'etat, comme 
resultat le modele obtenu se nomme modele de Markov cache HMM, qui est un double processus 
stochastique qui n'est pas observe (cache) mais peut etre observe a I'aide d'un processus 
stochastique qui produit la sequence d'etat. 
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3. Notations d'un HMM : 

Le modele X definit par les parametres suivants : 
A = (A, B, 7T), 

D'ou: 

A:matrice de transition. 
B: ma trice d'observation. 
n:matrice initial. 

4. Description des 6I6ments d'un HMM : 

Le HMM est caracterise par les elements suivants : 

> N, le nombre des etats caches d'un modele : 

On designel'ensemble des etats par S = {Si, S2, Sn }. 

L'etat oil se trouve le HMM a I'instant t est note qt (qt £ S). 

> M, le nombre des symboles d'observation dans chaque etat : 

On designe I'ensemble d'observation par V= {Vi, V2, Vm }, 

Un element Ox de V designe un symbole observe a I'instant t. 

> Una matrice A de probabilites de transition antra las etats da la chaina : 
Vi,j6[l ...n],Vt£[l...T]: 

a ij = A (i, j) = P(qt+i = Sj | qt = Sj ) 

ViJ 6 [l...n] ,Vt 6 [1...T] 
Avec : a ij > Vi, j et Y.f=i a ij = 1- 

> Una matrica B da probabilites d'observation : 

bj (K) est la probabilite d'observer le symbole V/^ quand le modele se trouve dans l'etat j soit : 

bj(K) = P (Ot = Vk|qt = Sj) 1 < j < n, 1 < k < M (3.3) 

Avec : bj (K) > V j, k et Y^=i bj (k) = 1. 

> Un vactaur n da dansites de probabilite initiala : 

7T = {^ili — 1»2, n , Tljrepresente la probabilite que l'etat de depart du modele soit l'etat i. 

Soit: 

711 = ? (qi=Si) 1 < 1 <n (3.4) 
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Avec : Tij = > V i et , Yi=i n^ = 1 ■ 

5. La partie cachee et la partie observable : 

Un HMM represente une sequence par deux suites de variable aleatoires I'une cachee et I'autre 
observable. 

> La suite cachee correspond a la suite des etats qi,q2, . . , qx , notee : 

Q (1 : T), oil les q; prennent leur valeur parmi I'ensemble des n etats du modele {81,82, . . . , 8n }. 

^ La suite observable correspond a la sequence d'observations Oi,02, . . . ,0t , notee 0(1 : T), 
ou les Oj sont aussi fonction du temps et realisent parmi un ensemble de M symboles observables 

{Vi,V2, . . . , Vm}. 

On cherchera a construire des HMM pour lesquels les suites observables sont les exemples que Ton 
cherche a modeliser. 

Les sequences observees sont definies comme des phrases sur I'alphabet {Vi, V2, . . . , Vm } 

6. Un HMM engendre une sequence: 

Un HMM peut etre vu comme un processus permettant d'engendrer une sequence ; inversement, on 
peut considerer une sequence comme une suit d'observations sur un HMM. [8] 

> Choix de I'etat de depart : 

t= 1, choisir I'etat de depart qi = 81 Tii ; 

> Observation dans I'etat selectionne : 
Choisir I'observation Ot = Vk avec bi(k) ; 

> 8election de I'etat suivant : 

Transiter a I'etat suivant qt+ 1 =8j a I'aide de aij ; 

> Changement effectif d'etat : 
t= t+1 ; 

8i t < T alors retourner a I'etape 2 sinon 8T0P fsi 

Example d'un HMM : 

3 pieces truquees : HMM a 3 etats. 

N = 3 etats, 8= {81,82,83}. 

M = 2 symboles, V= {p, f} . 
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(^11 ^21 ^31 
^21 ^22 ^32 
^31 ^32 ^33 



(Pi 1-^1^ 
5 = P2 1-^2 
VPs 1-^3' 



7. Les trois problemes de base d'un HMM : 

IL ya trois problemes a resoudre pour que la theorie des HMMs puisse donner naissance a des 
algorithmes : 

L'evaluation de la probabilite de I'observation d'une sequence : [lO] [13] 

Etant donnee la suite d'observations O et un HMM X, 

Comment evaluer la probabilite d'observation P (O U,)? 

La recherche du chemin le plus probable : [11] 

Ou estimation de la partie cachee, ou encore decision. Soit la suite d'observation O et un modele X, 
comment trouver une suite d'etats Q = qi ,q2, . . . qi qui soit optimale scion un certain critere? 

L'apprentissage : [10] 

Comment ajuster les parametres du modele X pour maximiser P(0\X), a partir de sequences 
d'apprentissage dont on salt qu'elles ont ete emises par ce modele? 

7.1 L'evaluation de la probabilite de I'observation d'une sequence : [10] 
7.1.1 Evaluation directe de la probabilite d'observation : 

La probabilite de la suite d'observations O, etant donnee le modele X est egale a la somme sur tous 
les chemins d'etats possibles Q des probabilites conjointes de O et de Q: 
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P(OU) = ^ P(0, Q\k) = ^ P(0\Q, X)P(Q\X) (3.5) 



Or, on a les relations 



P(Q\^) — ^ql3qlq23q2q3 ^qi-iqi 

P(0\QA) = bql(Oi)bq2(02) -bqTCOT). 



D'ou 



P(QU) = 2j ^qlNl(Ol)^qlq2bq2(02) aqT-lqxV V (^t) (3-6) 

ql,q2 qT 

Cette formule directe necessite n - 1 additions et (2T - l)n multiplications, soit 2Tn operations. 

7.1.2 Evaluation avec les fonctions de Forward-Backward : 

On considere que I'observation peu se faire en deux temps: 

d'abord, emission du debut de I'observation 0(1 : t) en aboutissant a I'etat qi au temps t, puis, 
emission de la fin de I'observation 0( t + 1 : T ) sachant que Ton part de qi au temps t. 

Dans ce cas, revaluation de I'observation est egale a : 

P(OU) = ^a(t,qi)P(t,qi) (3.7) 

qi 

Ou a(t, qi) est la probabilite d'emettre de debut 0(1 : t) et d'aboutir a qi a I'instant t, et P(t,qi)est la 
probabilite d'emettre la fin 0(t+l:T) sachant que Ton part de q; a I'instant t. 
Forward-Backward: a pour t croissants, P pour t decroissant. 



Le calcul de a : 

at(i) = P(0i02 Ot,qt = SAA) 

at(i) est calculee de maniere recursive comme suit : 
> Initialisation : 



(3.8) 



> Recurrence 



ai(i) = 7ribi(0i) ,1 < i < n . 



at+i(j) = [2^at(i)aij]bj(0t+i) 



i=l 
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> Terminaison : 



11 

P(OU) = ^axO) . 



i=l 

Ce calcul necessite n + n(n + 1)(T- 1) multiplications et (n - l)n(T— 1) additions, soit une 
complexite en 0(n2T). 

Le calcul de |3 : 

Pt(i)= P(0t+i0t+2...0T\qT = Si, A) (3.9) 

On deduit P^de P^^^ par : 

> Initialisation : 

(3^(i) = l, l<i<n. 

> Recurrence : 

PtO) = ir=iaii bj(Ot+i)^+i(j) . l<t<T-l,l<i<n 
P(OU) =Iqiat(i)^(i) . 

Cependant, on utilise le plus souvent les valeurs obtenues pour deux cas particulieres (t = 0) ou 
(t = T), ce qui donne : 

P(0\A) = ^ aj(\) = ^ TTipoO) (3.10) 

qi qi 

Exemple : 

Reprenons le modele A = (A, B ,tt) comprenant 3 etats 1,2,3 et permet d'observer deux symboles a 
etb. 

S = {Si, S2, S3} . 

V = {a, b} , calcul de a et P(0\A) , pour la suite. 

/0,2 0,4 0,4\ /0,1 0,5\ /0,3\ 

A = 0,6 0,4 ,B = 1 , 71 = 0,2 

Vooo/ Vol/ Vo,5/ 
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Suite d'observation : aab . 
On a : 0.1(1) = 71(01) d'ou : 

ai(l) = TTi bi(a) = 0,3.0,5 = 0,15 . 

ai(2) = TT2b2(a) = 0,2.1 = 0.2 . 

ai(3) = TT3 bgCa) = 0,5 . 

«2(1) = [I]f=i oci (i)aii]bi(a) = [oci (Oan +0Ci (2)a2i +0Ci (3)a3i]bi(a) 

= [0,15.0,2 + 0,2.0 + 0.1].0,5 

a2(l) = 0,15. 

a2(2)= [i:f=i oCi (i) ai2] b2(a) = [oci (l)ai2 +0Ci (2)a22 +0Ci (3)a32]b2(a) b2(a) 

= [0,15.0,4 + 0,2.0,6]. 1 

a2(2) = 0,18. 

a2(3)= [Y.ti oci (3)ai3]b3(a) = [oc^ (l)ai3 +oCi (2)a23 +oCi (3)a33]b3(a) 

= [0,15.0,4 + 0,2.0,4].0 

"2(3) = 0. 

"3(1)= [I]f=i 0^2 (i)aii]bi(b) = [0C2 (l)an +0C2 (2)a2i +0C2 (3)a3i]bi(b) 

= [0,15.0,2 + 018.0]. 0,5 
0C3 (1) = 0,015. 

"3(2)= [Hhi °^2 (i)ai3]b3(b) = [0C2 (l)ai2 +0C2 (2)a22 +0C2 (3)a32]b2(b) 

= [0,15.0,4 + 0,18.0,6].0 
a3(2) = 0. 



0C3 



(3) = y 0C2 (i)ai3b3(b) = [0C2 (l)ai3 +0C2 (2)a23 +0C2 (3)a33]b3(b) 



= [0,15.0,4 + 0,18.0, 4]. 1 
a3(2) = 0.132. 



P(0\A) = ^ 0C3 (i) =oc3 (1) +0C3 (2) +0C3 (3) 



i=l 

= 0,015 + 0,132 
P(0\A) = 0,147. 
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Figure 3.2 : le calcul de a pour la suite d'observations « aab » 



7.2 Calcul de chemin optimal: [11] 

II s'agit de trouver dans le modele la suite d'etats qui maximisent : 

P(Q,OA)^P(Q,0\X). 

Pour trouver le meilleur chemin Q= (qi,q2 , q^) pour une suite d'observation 

0= (Oi, O2, , Ox), on definit 5t(i) qui est la probabilite du meilleur chemin amenant a I'etat S; 

a I'instant t, en tenant guide par les t premiers observations: 

5t(i) = maxqi,q2 qt-iP(qi. q2. Qt = Sj , Oi, O2, OtA) (3.11) 

Par recurrence, on calcul 5^+1 (j) = max[5i (i)ajj ] bj (O^+i). 

On garde la trace de la suite d'etats qui donne le meilleur chemin amenant a I'etat S; a t dans un 
tableau v|/. 

7.2.1 Algorithme de Viterbi : 

> Initialisation: 

5i(i) = 7tibi(Oi) l<i<n; 

Vt(i) = 0; 

> Induction: 

6t(i) = max[5t_i(i)aij]bj(0t), 1 < j < n, 1 < i<n; 
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i|;t(i) = argmax[6t_i(i)aij] , 1 < j < n, 1< i < n; 

> Terminaison: 

P* = max[ST(i)]; 1 <i<n; 
q^ = argmaxl^fBxCO] ,1 < i <n ; 

> Chemin obtenu : ("backtracking") 

qt = ^t+i(qt+i)' l<t < T - 1 ; 

Exemple: 

En reprenant I'exemple precedent, on peut calculer les quantites 5, *F, q* puis les autres quantites 
aussi: 

> Initialisation: 

6i(l) = Tiibi(a) = 0,3.0,5 = 0,15. i|;i(l) = 0; 

6i(2) = Ti2b2(a) = 0,2.1 = 0,2. v|;i(2) = 0; 
6i(3)=Ti3b3(a) = 0. i|;i(3) = 0; 

> induction: 

62(1) = max[6i(i)aii]bi(a). 

= max[6i(l)aii;6i(2)a2i;6i(3)a3i]bi(a). 

= max[ 0.15.0.2 :0.2.0 :0].0.5 . 
62(1) = 0,015 ; v|;i(l) = l 
62(2) = max[6i(i)ai2]b2(a). 

= max[6i(l)ai2;6i(2)a22;6i(3)a32]b2(a). 

= max [0,15.0,4 : 0.2.0.6 ;0] .1 . 
62(23 = 0,12 ; i|;2(2) = 2 . 

62(3) = max[6i(i)ai3]b3(a). 

= max[6i(l)ai3;6i(2)a23;6i(3)a33]b3(a). 

= max [0,15.0,2 : 0.2.0.4 :0] .0 . 
62(33 = ;i|;2(3) = 2 
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63(1) = max[62(i)aii]bi(b). 

= max[62(l)aii; 62(2)321; 62(3)331] bi(b). 

= max [ 0.015.0.2 ;0,12.0 ;0] .0,5 . 
63(1) = 0,0015 ; i|;3(l) = 1 . 

63(2) = max[62(i)ai2]b2(b). 

= max[62 (l)ai2 ; 62 (2)a22 ; 62 (3)a32] b2 (b). 

= max[0,015.0,4 ;0,12.0,6; 0] .0 . 
63(2) = ;i|;3(2) = 2. 

63(3) = max[62(i)ai3]b3(b). 

= max[62(l)ai3;62(2)a23;62(3)a33]b3(b). 

= max[0,015.0,4 : 0.2.0.4: 0] .1 . 
63(3) = 0,08 ; 4(3(3) = 2 . 

> Terminaison: 

i|;i(l) = i|;2(l) = l v|^3(l) = l 

i|;i(2) = i|J 2(2) = 2 i|;3(2) = 2 

i|;i(3) = i|;2(3) = 2 ^\, s(3) = 2 

q*3 = max [63(1); 63(2); 63(3)] = 3 . 

> Chemin obtenu: 

<i*2 =^(q3) = v|;3(3) = 2 . 

qi = ^(q*2) = ^2(2) = 2 . 

On deduit du tableau precedent que le meilleur chemin est : 2 2 3. 
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Figure 3.3 : le calcul de 6 pour la suite d' observation «aab» 



7.3 Apprentissage: [10] 

Le but de I'apprentissage est de determiner les parametres (A, B, %) qui maximisent la probabilite de 
la suite d'observation P(0\A). 

L'idee est d'utiliser des procedures de re -estimation par punition recompense: 

> choisir un ensemble initial de parametres Xq ; 

> calculer A-^a partir de Xq ; 

> repeter ce processus jusqu'a un critere de fin. 

Partant de X^ ; A,n+i doit verifier : 

P = (0\X„+i) > P(0\X„) 

On cherche a definir une fonction F telle que X^^+i = F(X„). 

L'approche la plus simple pour trouver une fonction F consiste a faire des statiques sur I'utilisation 
des transitions et des distributions. Ceci revient a calculer des frequences d'utilisation a partir de 
I'ensemble d'apprentissage. 

Si I'ensemble est important, ces frequences fournissent une bonne approximation des probabilites a 
posteriorites utilisables alors comme parametres du modele pour I'iteration suivante. 
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La methode d'apprentissage va done consister a partir d'un modele initial aleatoire a estimer ses 
parametres comme indiques ci-dessus, puis a recommencer cette estimation ("re-estimation") 
jusqu'a obtenir une certaine convergence. 

7.3.1 Les formules de re-estimation: 

On definit ^(i, j) comme la probabilite, etant donne une phrase O, at un HMM X. Que se soit I'etat 
Si qui ait emis la lettre de rang t de O et I'etat Sj qui ait emis celle de rang t+1, done: 

^tO'O = P(qt = Si, qt+i = SjXO, X) (3.12) 

Ou autrement, on peut ecrire: 

P(qt = Si,qt+i = Sj/OA) 
^t^''^^ ~ P(0/A) 

A partir de ces fonctions Forward -Backward, on en deduit: 

,. .. ^ (^t(iOo^ijbj(Ot+i)Pt+i(J) 
^t^''^^ P(0/A) 

On definit aussi la quantite y^(i) comme la probabilite que la lettre du rang de la phase O soit emise 
par I'etat Sj 

Tt 0) = P(qt = Si/oA) 

Soit: 



On a la relation: 

r-\ vn K /■ ■\ «t(i)Pt(i) ro -i o\ 

YtO) = I"=l^t0'0 = -j^^ (3.13) 

Le nouveau modele HMM se calcul a partir de I'ancien en re-estimant 71, A et B Par comptage sur la 
base d'apprentissage. On mesure les frequences: 



7ii = nombre de fois que HMM s esttrouve dans S^a linstant t = 1. 
nombre de fois ou la transition de Si a Sj a ete utilisee 



aij 



nombre de transition effectuees apartir de Si 
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nombre de fois ou le HMM s esttrouve dans letatSj en obsevant vk 

bj(k) = ; 

' nombre de fois ou HMM s esttrouve dans 1 etat Sj 

n,=^ iLiYlO) (3.14) 

_ Iik=ilit=i^t(i,j) , -. 

*j 5:Li5:air'Yt(i) ^^■^^■' 



I k=i(It=i,ot=viyt(j )) 






L'algorithme de Baum-Welch: 

> fixer les valeurs initiales: 

a|] .h^(k),nl l<i,J<n ,l<k<n . 

^ Calcul a I'aide des fonctions de Forward-Baclcward: 
^(i,j),y^(i),l<i,j<n,l<t<T-l. 
Et X en utilisant les formulas de re-estimation. 

> recommencer en 2 jusqu'a ce certain critere de convergence soit rempli. 
Exemple: 

Soit un HMM Xq definit par les parametres suivants: 

/0,45 0,35 0,2\ /I \ /0,5\ 

A =0,1 0,5 0,4 B = 0,5 0,5 ti = 0,3 

\0,15 0,25 0,6/ V 1 / \0,2/ 

On peut calculer sur I'alphabet a deux lettres {a, b} : 
P (abbaa\Ao) = 0,0278. 

Si on prend comme ensemble d'apprentissage cette seule phrase, I'application de l'algorithme de 
Baum-Welch doit augmenter sa probabilite de reconnaissance. 

Apres une re-estimation, on trouve X^ : 

/0,346 0,365 0,289\ /I 0\ /0,656\ 

A =0,159 0,514 0,327 B = 0,5 0,5 ti = 0,344 

\0,377 0,256 0,364/ V 1 / V / 

P(abbaa\li) = 0,0529. 

Apres 15 iterations: 
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/ 1 ^ 

A =0,212 0,788 
\ 0,515 0,485/ 



/I ^ 

B = 0,969 0,031 







P (abbaaVis) = 0,2474. 

Apres 150 iterations la convergence est realisee: 



/ In 

A = I 0,18 0,82 
V 0,5 0,5/ 

P (abbaa\A) = 0,25. 



B = [l 

Vo 



ON 
V 



'-(l 



'-(: 



8. Principaux types de HMM : [12] 

II existe deux principaux types de modeles de Markov caches, le modele ergodique et le modele 
gauche-droit. 

8.1 Le modele ergodique : 

Tout etat est atteignable depuis tout autre etat en un nombre fini de transitions. 

Exemple pour N = 4: 
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8.2 Le modele gauche-droit: 



Si t augmente, alors les indices des etats augmentent egalement. 



Le modele le plus connu est le modele de Bakis: 




Formellement, dans un modele gauche-droit: 



ajj = si j < i 



TTj = si i ^ 1 , TTj = si i = 1 



De meme on a souvent des contraintes supplementaires comme: 



ajj = si j > i + A(A= 2 dans les modeles de Bakis) 



9. Avantages et inconvenients des HMM: [12] 

Parmi les inconvenients de ces modeles, on peut citer: 

> Ignorance complete de la duree relative des evenements dans le signal. 

> Degradation des performances si I'apprentissage n'est pas suffisant. 

> Le choix a priori de la typologie des modeles (le nombre d'etats, les transitions 
autorisees et les regies de transition) limite de la souplesse des modeles. 

> Ce n'est qu'un modele comportemental et non fonctionnel. 

> Difficulte d'inclure des connaissances acquises. 

Par contre, ils presentent un bon nombre d'avantages: 



> Base mathematique solide pour comprendre le fonctionnement. 

> Bon modele de la variable de la forme. 

> L'alignement temporel incorpore systematiquement. 



39 



CHAPITRE 3 Les modeles de Markov caches HMM 




> Prise en compte de I'ordre d'apparition dans une sequence de vecteurs. 

> Reconnaissance realisee par un simple calcul de probabilite cumulee. L'algorithme 
de VITERBI permet de la calculer efficacement, cet algorithme peut se formuler en 
terme de programmation dynamique (DTW). 

> Decision globale sans obligation d'utiliser des seuils. 

> Separation franche entre donnees et algorithme. 

10. Les principaux domaines d'applications: [12] 

> Les transports et le trafic (dessertes par autobus, modele de trafic routier, files d'attente, 
trafic dans les reseaux telephonique hertziens ou telematiques, etc.). 

> La theorie economique (modeles financiers, la theorie de la provision). 

> Les sciences de I'environnement (pollution, cycles ecologiques, genetique des population, 
etc....). 

> La theorie de I'information, du filtrage et de la commande optimale (codage, estimation, 
detection, etc.). 

> L'interpretation des signaux (la reconnaissance vocale, manuscrite et visuelle, I'identificateur 
du locuteur, etc.). 

11. conclusion : 

Dans ce chapitre nous avons defini d'une fagon generale les modeles de Markov caches et leurs 
applications dans plusieurs domaines. 

Le progres des cette technique envisage dans I'avenir de veritables systemes de dialogue homme- 
machine dans le cadre de la reconnaissance automatique de la parole ou les recherches sont 
avancees. Et notons que cette approche probabilite (HMM) a une vaste utilisation dans plusieurs 
applications. 

Le principe d'utilisation de ces methodes est simple, il s'agit de determiner, dans un modele 
prealablement appris, la sequence d'etats correspondant a une observation donnee. 
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